Lightning OPD 2.0: Mitigating Style Bias in Cross-Teacher On-Policy Distillation for Large Reasoning Models
缓解跨教师在线策略蒸馏的风格偏差：Lightning OPD 2.0
🧭 跨教师在线策略蒸馏的风格偏差校正 ★ 深度解读
NVIDIA
通过交叉拟合风格残差化消除教师不一致带来的风格Token偏差，使OPD不再依赖教师一致性
📌 工作参考价值（4 点）
- 在电商/推荐系统的生成式模型蒸馏中，若SFT数据生成器和蒸馏教师不同（如SFT用GPT-4，蒸馏用Gemini），可直接引入风格残差化：构建Token身份与上下文（位置+surprisal）双查找表，用交叉拟合估计风格偏差并从Token级监督信号中减去，避免误伤内容相关token。
- 工程实现上，离线预计算SFT rollout和教师log概率后，分K折交叉拟合查找表，再用残差信号替换原始教师分数，即插即用于Lightning OPD框架，几乎无额外推理开销。
- 当因成本或数据来源多样无法维持教师一致性时，此方法解耦了SFT生成器与蒸馏教师的选择，允许独立优化，同样适用于推荐场景中多模型协同蒸馏（如召回、排序模型蒸馏）。
- 分析思路值得借鉴：用响应平衡(reduce)避免长文本主导估计，用position/surprisal bins代替完整前缀上下文，防止过分稀疏且保留足够泛化性，可推广至其他序列生成任务的跨模型校准。